平成10年度 研究離告 大分県産業科学技術センター
全周囲画像の実時間生成アルゴリズム
佐藤哲哉
大分県一工業技術院研究交流センターー
Real 七i m
e CoでぞeC七i ng Å1gr i も臨m
of 肋弧i dまでeC七互om
al ‡
m
ages
Tet s uya SÅTO
O
i t ar Ai s t J oi nt Res ear ch Cent er
要旨
全周囲画像は、監視装置、ロボットや自立走行車等に搭載する視覚装置、マルチメディア情報機器等として広範
な活用が想定されその要求も高まってきている。このような画像を取得する全周囲カメラには、実用上、従来のカ
メラがもつと同様な①全周囲画像の実時間表示②低画像歪③高解像度④小型怠堅眉といった要件をもつことが望まれている。小型で堅固な構造の2台のカメラと2つの反射ミラーを用いた全周囲カメラについて、既に報告しその
有用性を示した。本報告では、補正データテ〝ブルを作成することによって、一度の画素再配置処理を行うだけで
補正された4枚の透視変換画像からなる全周囲画像を実時間表示するアルゴリズムについて歪曲収差補正を中心として述べる。
1、はじめに
全周囲画像は，異常の発見や作業現場の安全確保のための 監視装置，ロボットや自立走行車等に搭載する視覚装置，マ ルチメディア情報機器等として広範な活用が想定され，その 要求も高まってきている一 このような画像を取得する全周囲 カメラには、実用上、従来のカメラがもつと同様な①全周囲 画像の実時間表示②低画像歪③高解像度④小型⑤堅固といっ
た要件をもつことが望まれている。小型で堅固な構造の2台 のカメラと2つの反射ミラーを用いた全周囲カメラについて、 既に比較的遠方領域の画像を対象とする小型で堅固な構造の
2台のカメラと2つの反射ミラーを用いた全周囲カメラにつ
いて，報告しその有用性を示した．1）・2）本稿では，全周囲 画像の実時間，低歪表示に向けた画像補正アルゴリズムにつ
いて述べる．
2．全周囲カメラの原理
基本原理は上下に配置された2台のカメラと互いに直角に配 置された2つの三角柱型反射ミラーにより成る，酎gl ）各々 のカメラには水平画角が90度以上の広角レンズが装着されて いる。レンズ中心aに対するその反射像はミラー面の境界を中 心としてタ互いに反対方向の2方向の情報を持つ。同様に，レ ンズ中心bに対する三角柱型反射ミラーーbの反射像楓 互いに 反対方向の2方向の情報を持つ．このことからタ 2つの三角柱 型反射ミラーによる反射像は全筒（4方向）の画像情報を含ん でいる。これら4方向の画像を用いて補正処理を行い方向毎に 連結し全周囲画像を生成する．
3．全周囲カメラ画像の特徴
全周囲カメラの2台のカメラから得られる原画像は下記要 因の影響により大きな（画像）歪みが生じている。2）
。広角レンズ；広角レンズによる画像歪みの要因は主にレン ズの歪曲収差にある。
「 レンズ中心b
三角柱型反射ミラーa
ミラー面
魂柱型反射ミラーb
レンズ中心a′ ／： ミラー面
Fi gl ．原理図
。カメラ光軸の傾き：全周囲カメラの構造上カメラ光軸が傾 く。その結果得られる画像は斜視画像となる。
申反射ミラ山による像の反転：実環境をミラーを介して撮像 する。撮像画像は像が反転する。
・撮像領域の重複≡広角レンズで撮像された4方向画像には 相互に重複領域がある。
会同囲画像の生成はこれら画像歪みをもつ画像情報を補正し、 方向毎に連結された4方向の透視投影画像情報に変換しそニ タ上に表示することである。このような全筍囲画像は人の眉 に違和感のない画像表現となる。
4．画像補正アルゴリズム
補正処理は会同囲カメラ画像の画素再配置処理として定式 化される。歪曲収差による補正は原画像の全画素について補 正式を用いて対応する補正点を求め、その位置に画素を再配 置する。同様にカメラ光軸の傾きに起因する斜視画像の補正 は実環境平面を等価的に傾き角に相当する角度だけ逆向きに 回転し、その仮想平面上への写像点を求め、その位置に画素 を再配置する。また、像の反転の補正は画像中心を原点とす る上下左右の対称位置へ画素を再配置する。また、繚像領域 の重複については、上記補正がなされた画像に対してキャリ
平成10年度 研究酌告 大分県産業科学技術センター
プレーションにより4方向画像の境界を定める。
この内、歪曲収差の補正に関しては確立した手法はない。 一般にカメラレンズは複数の単レンズの組みあわせから成る。 製造上の誤差等の要因により同じカメラレンズ間でも焦点距 離等を含むレンズパラメータは異なる。これらレンズパラメ
ータはユーザ側で必要に応じて個別に計測しなければならな い。歪曲収差の補正に関するパラメータについても同様であ る。ここでは、画像補正の中心的課題となるカメラレンズの 歪曲収差の補正を中心として報告する。他の補正項目につい ては幾何学的計算式、キャリブレーションにより容易に補正 式の導出が可能である。
4．1 歪曲収差補正
全周囲カメラは，広角レンズ（水平画角：107度）を用い ていることから歪曲収差の発生が顕著である．Fi g2に歪 曲収差が発生している画像とその補正すべき画像との関係を 示す。上部画像は規則的な格子パターンをもつ校正ボードを
広角レンズで撮像した時の画像である。歪曲収差の影響によ り画像中心から周辺部に行くに従い撮像倍率が変化し画像全
体として樽型となる。この時のpは画像中心から任意画素位 置までの距離とする。→方、￣F部画像は同じ校正ボードを広 角レンズと同一の焦点距離をもつ歪曲収差のない理想レンズ で撮像したと仮定した時の画像である。この時のβ ′ は画像
中心から上部画像のpと同一の画素位置までの距離とする。
p：画像中心からの距離
ーションの解析的な手法を提案している。5）その中で歪曲収 差モデルは次式としている。
β′ ＝β＋kl ・β3＋k2・p5（2）
しかし、歪曲収差の発生が大きい場合にはこのモデル式では 誤差が大きいことが示されている。魚眼レンズをも含めた広 角レンズの補正手法はまだ確立していない．ここでは，S．Shah 等の方法を用いる．6）s ．s hah等は歪曲収差の補正式をLagl ange の内挿法を用いて5次の多項式により表している。
p′ ＝kl β ＋k2・β 2＋k3。β 3 ＋k4・β 4＋k5・β 5（3）
内挿法を用いていることから画像中心を含む6点のβに関す る格子パターン上の位置の実測値と計算値とを予め求めてお
くことで、内挿式を展開した式（3）の係数kl 、k2、k3、k4、 k5を決定することができる。よって式（3）により任意の実 測値pに対する補正値p′ を計算することができる。S．Shah 等はこの係数を歪曲収差の補正係数の概略値としている．こ の概略借を基にキャリブレーションパターンの直線が観測画
像上でも直線となるという先験的な知識により補正係数を更 に最適化している．
また、複数の単レンズの組み合わせによるカメラレンズは アッセンブリ段階で製造誤差により全てのレンズ光軸が厳密
には一致していないことがある。所謂decent er i ngによる収差 もある。しかし、ここでは、この影響はないものとして考え る。式（3）は広角レンズによる樽型歪みをもつ画像を人の 目に違和感のない補正された透視投影画像に変換する主なる ものである。
式（3）は観測画像（原画像）から補正画像への変換式であ る。樽型の歪みをもつ画像を補正する時その補正画像領域は 原画像の画像領域より大きくなる。式（3）に従い原画像の 画素を補正画像上へ1：1の関係で画素を再配置すると、補 正画像上に画素が配置されない空画素が生じる。結果として 補正画像では多くの空き画素が生じることになる。これら空 き画素には周辺画素の輝度値の平均値を配置する等の画素間 演算処理が必要となる。S．Shah等はこの空画素が生じないた
めの方法としてi nver s emappi ng手法を提案している。式（3） が原画像から補正画像への変換を表したのに対して、補正画 像から原画像への変換を可能にする式（4）を導出している。
p＝aβ ′ ＋b・P′ 2＋c・p′ 3 十d勺P′ 4＋e・p ′ 5（4）
ここで、a、b、C、d、eは補正係数である。これは式（3） が簡便なLagl angeの内挿法を用いていることからpとβ ′ と の関係を逆にすることで式（3）と同様に式（4）を導出で きることによる。式（4）は補正画像上の画素と原画像上の 画素との関係を補正画像上の画素を基本として1：1の関係 で関連付けている。しかし、画像領域の大きいものから画像 領域の小さいものへの関連付けであるため、結果として1： manyの関係となる。式（4）により空き画素の問題は解 消され、一意に補正画像への変換が可能となる。
本稿では式（4）の歪曲収差補正式を用いる。本手法を用 いた全周囲カメラに関する補正係数を以下に示す。 広角レンズによる画像
p’ ：画像中心からの距離
理想レンズ系による画像（計算） Fi g2．歪曲収差の補正
β ′ の値はピンホールカメラを想定し計算により求めるこ とができる。
歪曲収差を補正するためにはβ とβ ′ との関係式を導くこ とにある。歪曲収差の発生が比較的小さい時、この関係は近 似的に次式でモデル化される。4）
β ＝p＋k・β3 （1）
ここで、kは補正係数である。kの値を求めるためにいくつか の提案がなされている。Ts ai は高精度カメラキャリプレ
平成10年度 研究部告 大分県産業科学技術センター
ような全周囲（パノラマ）画像を高速表示することができる。 その補正処理にかかる計算コストは小さく、処理時間はPC の計算速度に依存する。近年のPCの計算速度は大きく向上
しており充分な性能を有している。ペンティアム300九／I H z のPCで10フレーム／秒の処理・表示速度であった。
全周囲カメラ画像の補正処理は専用のハードウェアを必要 とせずに画素位置の対応付けというソフト処理のみで高速に 実現することができる。このことは装置コストの低減化のた
めにその意義は大きい。
尚、Fi g4（a）の画像の縦横比は1：13程度である。 その全体像を一度にモニタ表示することは縮小すれば可能で あるが、モニタ表示領域の縦横比が3：4であることからす ると不向きである。Fi g4（b）に4方向の画像を縦列に 配置した全周囲画像である。境界部の連結性についての感覚 的な違和感が残るが全周囲画像をモニタ上で一度に表示する 方法としては妥当と考える。
今後は監視等への適用や評価を行っていく。 く参考文献〉
1）佐覿信学98全大ト11−149． 2）佐覿信学98ソサイアティ太か11−93．
3）佐敷大分県産業科学技術センター平成9年度研究報告
4）辻内，応用画像解析 共立出版
5）R．Y．Ts ai ，” I EEEJ ，Robot i cs Aut omat 。3，Pp，323−3441987” 6）S．Shah，et al ，t やR，Vo129，Nol l ，pP．1775【1788，19粥 a：＋1．031391
b：−3．411060×
10▼
き
c ：−3．029893×
101￠
d：＋4．138402×
10￣9
e：−1．638638×
10￣12
5．補正データテ皿ブルの作成
歪曲収差、レンズ光軸の傾き、像の反転、重複撮像領域に 対して補正する手順は定式化された。全周囲カメラの原画像 に対する補正処理はこれら個別の補正手順を一括して定式化 する。この際にこれら個別の補正手順は画素の再配置位置を 特定する処理であり、画素の輝度値に関する画素問演算を含 まない。このため、Fi g3に示すように個別の補正手順を
順次適用し、原画像の画素位置（Ⅹ。，y。）と最終的な補正 位置（x。，y4）との関係を求めることができる。
まず、式（4）により補正画像上の画素位置（Ⅹ1，yl ） に対する原画像上の画素位置（Ⅹ。，y。）を求める。（Ⅹ1， yl ）は原画像に対して歪曲収差が補正された画素位置である。 但し（Ⅹ1，yl ）はレンズ光軸の傾きによる歪みの影響を受
けている。光軸の傾き補正式を適用しその歪みを（Ⅹ2，〉72） に補正する。この段階で画像歪みに関する補正が達成される。
次に、本来、原画像はミラー反射画像であることから反射 幾何の関係により上下左右の対称再配置位置（Ⅹ3，y3）へ の反転補正を行う。この補正画像上の画素位置（Ⅹ3，y3） と原画像上の画素位置（Ⅹ。，y。）とは一意に関係付けられ ている。最後に、キャリブレーションにより決定された重複 撮像領域を含まない画像境界内にこの（Ⅹ3，y3）があるか 否かを判定し、ある場合には（Ⅹ。，）γ 。）の最終的な補正画 素位置を（x3，y3）とする。ない場合には（Ⅹ。，y。）は 対象外の原画像の画素とする。
＜補正画像領域＞ ＜原画像領域＞
歪曲収差補正（まnver s e mappl ng手法）
（Ⅹ1，yl ） （Ⅹ。，y。）
・⋮
V
∴・・
V
l
童∵や
正
︵
正
補
補
き
転
傾
反
嘉一′
＋
X
X
X
︵
正
︵
綱
境
4
y
Fi g3。補正データテーブルの作成
5．まとめ
補正データテーブルを作成することによって賢 一魔の画素 再配置処理を行うだけで補正（歪曲収義光軸の傾き，反転 境界）された4枚の透視変換画像からなるFi g4（a）の
Fi g4（b）．補正された全周囲画像（4段）
Fまg4（a）一婦正された全周囲画像
